科学还不够严格
❦
很久以前，年轻些的 Eliezer 曾有过一个愚蠢理论。Eliezer18 小心遵循着他所受教导中的传统理性规范；他确保自己的愚蠢理论具有实验后果。Eliezer18 也宣称，按照他所学到的科学家美德，他希望检验自己的愚蠢理论。
根据 Eliezer18 所受教育中关于科学之道的美德标准，这就已经足够称得上有德了。
但这甚至远远达不到把事情做对所需要付出的努力量级。
科学的传统理想太容易发小红花了。负面的实验结果同样也是知识，所以凡是参与游戏的人都有奖。只要你能想出某种能检验自己理论的实验，而且你做了实验，也接受了结果，你就算按规则行事；你就是个好科学家。
你未必把事情做对了，但你是个遵守科学规范的好公民。
（我在这里特意说明，我说的是「科学」这一理想，而不是现实实践中的科学社会过程，原因有二。第一，我是在试图遵循科学的理想时走偏的——不是因为某个怀恨在心的期刊编辑把我打压下去，也不是因为我在模仿学术界的缺陷。第二，如果我指出传统宣讲中的理想本身有问题，现实中的科学家也并不会被迫同样走偏！）
科学起源于对宏大哲学图式和扶手椅推理的反叛。所以，科学并不包含一条规则，告诉你哪些假说允许检验、哪些不允许；这留给个别科学家自己决定。因为若要先验地猜这种事，就需要某种宏大的哲学图式，以及先于证据的推理。作为一种社会理想，科学不会因为你提出异端假说就把你判成坏人；对科学家而言，诚实地做实验，并接受结果，就是美德。
只要大多数科学家还能接受明确、无可误认、毫不含糊的实验性证据，科学就能前进。它也许前进得太慢——也许会比应有的更久——你也许得等上一代老前辈死去——但最终，知识的棘轮还是会再向前咔哒一格。年复一年，十年复十年，车轮向前转动。足以支撑一个文明。
所以，这就是科学真正向你要求的全部——当现实拿棍子狠狠干到你头上时，你要有能力接受它。要求不高，但足以维系一种科学文化。
把这和概率论中的观念对比一下：理性的判断应当是精确的定量判断。如果在接受常规筛查的女性中，1% 患有乳腺癌；如果患乳腺癌的女性中有 80% 的乳房 X 光检查结果为阳性；如果未患乳腺癌的女性中有 10% 会出现假阳性，那么，一位在常规筛查中乳房 X 光结果为阳性的女性患乳腺癌的概率是多少？答案是 7.5%。你不能说：「我相信她没有乳腺癌，因为实验还不够明确。」你也不能说，
「我相信她有乳腺癌，因为悲观一点更明智，而到目前为止唯一的实验似乎就是这么指向的。」在这些证据下，理性的估计就是 7.5%，不是 7.4%，也不是 7.6%。概率定律是定律。
《十二美德》第三美德「轻盈」里写道：
如果你把证据看作束缚，并试图让自己摆脱它，你就是把自己卖给任性的锁链。因为你不可能闭着眼坐在卧室里，凭一时冲动在纸上画线，就画出一座城市的真实地图。你必须走进城市，在纸上画出与你所见相对应的线条。如果你只是把城市看得不够清楚，就以为自己可以随心所欲地把某条线稍微往右挪一点、稍微往左挪一点，那犯的还是同样的错误。
在科学里，涉及决定去检验哪些假说时，科学的道德观会给你个人自由，让你可以相信任何尚未被实验排除的东西，只要你愿意去检验自己的假说。科学不会试图在实验之前，就对哪个才是最值得检验的假说给出官方裁决。那留给个别科学家的良知。
在存在明确实验性证据的地方，科学会告诉你低下你那顽固的脖子并接受它。除此之外，科学就把事情留给你自己。科学允许你按照自己的任性，在实验性证据的边界之内四处游荡。
而这与贝叶斯主义那种「存在一个毫无弹性、没有任性空间、在实验之前和之后都同样存在的、精确正确的概率估计」的观念，并不容易调和。贝叶斯主义与科学之所以诞生的那种古老而传统的理由并不契合——即对宏大图式的不信任，以及认为人在没有明确、无可误认的实验性证据时，并不够理性，无法把事情做对。如果我们都是完美的贝叶斯主义者，我们就根本不需要科学这种社会过程。
然而，大约在我意识到自己犯下大错的时候，我也正在研读 Kahneman、Tversky 和 Jaynes。我在学习一种新的道，比科学更严格。那是一种能够批评我愚行的道，而科学永远做不到。那是一种本可以在事先就告诉我——而科学绝不会这么说——「你选错了要检验的假说，笨蛋。」
但贝叶斯之道也比科学难用得多。它极度考验你是否能听见那些细微的走音，而科学只要求你注意到有块铁砧砸在你头上。
在科学里，你犯上一两个错，后面的另一个实验总会来纠正你；最坏不过是浪费几十年。
但如果你试图哪怕只是定性地使用贝叶斯——如果你试图去做那件科学不信任你能做的事，在压倒性证据缺席时仍作出理性推理——它就像数学一样，一百步里只要有一步出错，就能把你带去任何地方。它要求轻盈、均衡、精确、完美主义。
科学之所以不信任科学家去做这种事，并且哪怕在有人声称自己已根据线索和逻辑推导出正确答案之后，仍要求进一步的实验证明，是有充分理由的。
但如果你不想浪费十年去证明那个错误的理论，你就得尝试解决一个难得多的问题：去聆听那些不会在你耳边大喊大叫的证据。
即使你没法在《化学与物理手册》里查到某个问题的先验概率——即使并不存在某个权威来源告诉你先验是多少——这也不意味着你就获得了私人特权，可以把先验随心所欲地设成任何数。这意味着你面对的是一个新的猜测问题，而你必须尽自己所能把它猜好。
如果心智作为一种认知引擎，能够仅凭随意摆弄先验就生成正确的估计，那么你就能在不去看事物的情况下知道它，甚至在不碰它的情况下改变它。但心智不是魔法。理性的概率估计里没有任何基于任性的决定空间，即使看上去你好像并不知道先验。
同样地，如果贝叶斯答案很难算，这并不意味着贝叶斯不适用；这只意味着你不知道贝叶斯答案是什么。贝叶斯概率论不是一套统计方法的工具箱；它是支配你所使用的一切工具的定律。不管你知不知道它，不管你算不算得出来，它都在那里。
至于把贝叶斯方法用在巨大而高度一般化的假说空间上——比如说：「这里有有史以来所有物理实验的数据；那么，什么才会是一个好的万有理论？」——如果你知道该怎么在实践中做到这件事，那你就不会是统计学家，而会是一名通用人工智能程序员。但这并不意味着，人类在用人类智能给宇宙建模时，就能不凭证据产生正确猜测，从而违反物理定律 / 贝叶斯主义。
Nick Tarleton 评论道：
问题在于，你鼓励的是一种和社会标准一样宽松的私人认知标准。
这比我原本的表述更准确地点出了我想表达的问题。